Ông sinh ra tại Sơn Đông miền Đông Trung Quốc được giáo dục trong một gia đình nho học truyền thống. Sau đó ông theo học tại "Học viện Quân sự Bảo Định"(保定軍校) tại Bắc Kinh và đánh dấu sự cuộc đời binh nghiệp của mình từ đó. Ông là người có thực tài được cấp trên đánh giá cao do đó ông thăng tiến rất nhanh trong sự nghiệp của mình.

Ngô tham gia "Cách Quân"(新軍) (sau này đổi tên là Bắc Dương quân vào năm 1902) được viên quan võ của triều đình Mãn Thanh là Viên Thế Khải thiết lập. Sau khi triều Thanh sụp đổ năm 1911 và Viên lên làm Đại Tổng thống Trung Hoa Dân Quốc, nhất là sau khi Viên tự lập mình làm hoàng đế và khôi phục chế độ quân chủ vốn vấp nhiều sự phản đối đã khiến Trung Quốc rơi vào một cuộc nội chiến giữa các quân phiệt cát cứ ở từng địa phương. Năm 1915, Ngô trở thành Tư lệnh Đại đoàn 6.